Rethinking Muon Beyond Pretraining: Spectral Failures and High-Pass Remedies for VLA and RLVR
重新思考Muon：在VLA与RLVR中引入高通滤波解决频谱失效
🧭 训练优化器设计：高通频谱滤波
Michigan State University · Cisco · University of Minnesota · IBM Research
提出Pion优化器，用高通频谱滤波替代Muon的均匀白化，解决VLA低秩噪声放大和RLVR不稳定问题
📌 工作参考价值（4 点）
- 在电商推荐模型的RLHF/RLVR微调中，若使用类似Muon的优化器，需警惕低信噪比梯度导致崩溃，可改用Pion或保守选择AdamW。
- 多任务或多头推荐模型中，per-head独立更新（通过reshape实现）能保留不同商品类目或用户群体的头部特异性，避免均匀白化破坏已学的差异性。
- 在梯度噪声大、存在低秩组件的场景（如冷启动、稀疏特征），高通滤波思路可直接用于动量或梯度修正，抑制尾部方向噪声。
- 预训练有效的优化器（如Muon）在微调/RL阶段可能失效，需根据梯度频谱特性做适配，Pion为这种迁移提供了低成本替换方案。